如何实现RTMP推送Android Camera2数据

Camera2简介 在Google 推出Android 5.0的时候, Android Camera API 版本升级到了API2(android.hardware.camera2), 之前使用的API1 在API架构方面, Camera2和之前的Camera有很大区别, APP和底层Camera之前可以想象成用管道方式连接, 如下图: ​ 这里引用了管道的概念将安卓设备和摄像头之间联通起来，系统向摄像头发送 Camera2 API调用基础流程： 通过context.getSystemService(Context.CAMERA_SERVICE) 获取CameraManager； 调用CameraManager 获取数据后对接RTMP推送： 通过OnImageAvailableListenerImpl 获取到原始数据，推送端以大牛直播SDK https://github.com/daniulive/SmarterStreaming 介绍，和RTMP调用流程，感兴趣的可以自行学习。

Android平台实现Camera2数据推送到RTMP服务器

Camera2架构 在Google 推出Android 5.0的时候, Android Camera API 版本升级到了API2(android.hardware.camera2), 之前使用的API1 在API架构方面, Camera2和之前的Camera有很大区别, APP和底层Camera之前可以想象成用管道方式连接, 如下图: ​ 这里引用了管道的概念将安卓设备和摄像头之间联通起来，系统向摄像头发送 Camera2 API调用基础流程： 通过context.getSystemService(Context.CAMERA_SERVICE) 获取CameraManager； 调用CameraManager 如何实现camera2数据对接RTMP推送： 通过OnImageAvailableListenerImpl 获取到原始数据，推送端以大牛直播SDK https://github.com/daniulive Camera2对焦API扩展说明 关于CONTROL_AF_MODE描述： 当前是否开启自动对焦，以及设置它的模式。

Android Camera2

/** * Returns the capture session manager instance that modules use to store * temporary or final capture results. */ public CaptureSessionManager getCaptureSessionManager(); /** * Returns the memory manager which can be used to get informed about memory * status updates. */ public MemoryManager getMemoryManager(); /** * Returns the motion manager which senses when significant motion of the * camera should unlock a locked focus. */ public MotionManager getMotionManager(); /** * Returns the media saver instance. *

* Deprecated. Use {@link #getCaptureSessionManager()} whenever possible. * This direct access to media saver will go away. */ @Deprecated public MediaSaver getMediaSaver(); /** * @return A listener to be informed by events interesting for remote * capture apps. Will never return null. */ public RemoteShutterListener getRemoteShutterListener(); /** * @return The settings manager which allows get/set of all app settings. */ public SettingsManager getSettingsManager();

Camera2 采集

本篇介绍 Camera2相比Camera1，使用起来要复杂一些，不过也节省了一些逻辑，比如可以自动处理角度问题。本篇就按照流程介绍下Camera2的简单使用，更多细节会后续介绍。 使用Camera2 申请权限 静态申请: <uses-permission android:name="android.permission.CAMERA" /> 动态申请: if (ContextCompat.checkSelfPermission

Android Camera2

本文是 Camera2 教程的开篇作，本章将介绍以下几个内容： 一些 Camera2 的重要概念 一些只有 Camera2 才支持的高级特性 一些从 Camera1 迁移到 Camera2 的建议 本章涉及的代码很少 LIMITED：除了支持 Camera1 的基础功能之外，还支持部分 Camera2 高级特性的级别。 FULL：支持所有 Camera2 的高级特性。 11 一些只有 Camera2 才支持的高级特性 如果要我给出强有力的理由解释为什么要使用 Camera2，那么通过 Camera2 提供的高级特性可以构建出更加高质量的相机应用程序应该是最佳理由了。 官方说 Camera2 的性能会更好，这句话听听就好，起码在较早期的一些机器上运行 Camera2 的性能并没有比 Camera1 好。 13 结束语 本章到此结束，主要是介绍了 Camera2 的一些基础概念，让大家能够基本了解 Camera2 的工作流程和基础概念，并且知道使用 Camera2 能够做些什么。

Camera2 Extensions

提供的一套方便第三方相机开发者也能使用到平台厂商独有的一些Camera能力（比如bokeh、夜景、HDR等）的API 其中Google制定extensions-interface层，向下由OEM供应商提供能力实现，向上则封装Camera2 API来提供能力接口 架构图如下所示 CameraX Extensions API的用法可以参考Android官方账号发表的推文 使用 CameraX Extensions API 将特效应用到照片上 Camera2 ); Log.i(TAG, "openCameraCore: support extensions: " + list); } } 设备支持的情况下就可以开始启动预览了，步骤和Camera2 普通模式启动预览流程是类似的，三步走即可，只是一些接口不同 打开相机的步骤和Camera2普通模式无差异 创建会话则采用createExtensionSession 获取CameraExtensionSession extension: 例如EXTENSION_HDR // listener: 使用CameraExtensionSession.StateCallback // outputs和executor类似Camera2

Android流媒体开发之路二:NDK开发Android端RTMP直播推流程序

，可以在Java层通过Camera2获取数据，也可以用NativeCamera通过NDK来获取，不过后者需要的版本高一些，我考虑了一下，还是决定通过Java层获取数据，然后再交给下层处理。 对摄像头，通过Camera2接口，获取到更新的Surface，并转交给Opengl.EGL进行绘制，数据被绘制到TextureView的SurfaceTexture上，同时将RGB原始数据回调给Activity 关于Camera2接口获取摄像头数据，可以参考之前的文章“Android流媒体开发之路一:Camera2采集摄像头原始数据并手动预览”，不同的是，那篇文章里直接使用ImageReader的Surface C++层实现对原始数据进行编码，并按照RTMP数据包进行封装，然后推送到RTMP服务器。这部分可以参考以前的文章“C++实现RTMP协议发送H.264编码及AAC编码的音视频”。 首先要生成一个OES SurfaceTexture，后面要把它传递给Camera2接口，用于接收摄像头画面，之后开始创建RTMP推流模块调用线程，并创建摄像头捕获模块，和渲染模块 ?

Android平台如何采集摄像头数据并实现低延迟RTMP推送

​技术背景2015年，我们发布了第一版的Android平台RTMP摄像头|屏幕直播推送模块，几经迭代，功能强大、性能优异，在前些年几乎已经是业内延迟体验和口碑最好的RTMP模块了（毫秒级延迟，低延迟模式下 鉴于我们侧重于传统行业音视频直播方案，我们从以下几个维度，介绍下Android平台RTMP摄像头采集推送模块的使用场景。 ，为什么要用Camera2呢？ Camera2的采集优势在哪里呢？功能更强大更精细的控制：Camera2 提供了对摄像头更底层、更精细的控制能力。 向后兼容性：虽然 Camera2 是在 Android 5.0（API 21）及以上版本引入的，但它在设计上考虑了向后兼容性。

Android Camera2详解

信息以及手动控制每一帧的参数； 对Camera的控制更加精细(比如支持调整focus distance，对焦曝光模式等)； 支持更多图片格式(yuv/raw)； 高速连拍 当然，就像硬币总是存在正反两面，Camera2 Camera2主要类 ? Camera2中要获取预览数据则需要额外配置一下。 首先需要通过ImageReader创建的Surface，在创建session的时候配置进去. 总结 Camera2的基本使用总结到这里，使用起来肯定是不如Camera1方便，不过能让应用层有更多的操作空间总是值得的，而且从Android9.0开始也不得不使用这套架构了 ?

Android音视频开发：基于 Camera2 API 实现RTMP推流、RTSP服务与录像一体化方案

​在移动端音视频领域，单纯的 RTMP 推流已不再是技术天花板。 真正的挑战在于：如何在资源受限的 Android 设备上，构建一个既能“对外”进行 RTMP 直播、又能“对内”提供低延迟 RTSP 分发，同时还能完成“本地”高保真录像的『全功能媒体节点』？ Camera2 API 的高效采集与YUV处理Camera2 API 相比旧版 Camera API 提供了更强大的控制力，但也更为复杂。 大牛直播SDK 提供了带 Stride 参数的接口，完美兼容了不同机型的 Camera2 输出。 对于广大音视频开发者而言，不仅是一把打开 RTMP/RTSP 协议大门的钥匙，更是一份关于高性能、低延迟、高稳定性音视频应用开发的最佳实践指南。

Android Camera2 Deferred Surface

背景 在Android Camera2详解一文中，我们了解到使用Camera2 API启动相机预览将经历如下三个步骤，其中创建会话需要准备的预览surface一般来自SurfaceView，TextureView 【Android Camera2 API Deferred Surface实战】 https://deepinout.com/android-camera-official-documentation/

Android Camera2 Focus Distance

提问2 我想使用android camera2 API获取从对象到android设备的距离。 我已经在谷歌样本Camera2应用程序中添加了一个SeekBar，但我找不到实现手动对焦的方法。 我在camera2，android中找到了手动对焦，但它在我的LG G4上无效。 Not even 'Open Camera', which seems to use really all functions of the Camera2 API can focus that near Is somebody out there who can explain, what does the 'LG' Camera2 app differently? 测试（ https://github.com/pinguo-yuyidong/Camera2 ），允许我们使用搜索栏进行调整。 我想在预览开始时在镜头焦距中设置一个固定值，直到我关闭应用程序。

使用Camera2获取depth图像

它的视场为75°，大致与S10 5G前置摄像头的80°视场相匹配 Note: S10 5G（以及Note10+5G）通过Camera2 API返回两个摄像头。

Android Camera2 获取RAW数据

这边文章主要记录下在Android系统上，如何通过Camera2 API去拿到RAW数据，也是当个备忘。 平时我们拿实时预览数据，更多的是获取yuv数据。 相关实现代码，google已经给出了官方的demo 本文介绍的内容也是基于官方demo来展开~ 如果大家了解或者使用过Camera2获取实时yuv或者拍照jpeg数据，那获取raw，其实流程上都是一样 Camera2上我们需要拿到camera的数据，都是通过ImagerReader来获取。

手撕Rtmp协议细节（3）——Rtmp Body

上一篇讲了RTMP数据包中关于Header的数据组织格式，不过一个完整的RTMP数据包除了Header之外，紧跟着的是RTMP Body，这一篇就继续来说一下RTMP Body的数据组织结构了。 说到RTMP Body的数据包组织格式，就不得不提到AMF。 那么AMF和RTMP Body又有什么关系呢，不才，RTMP数据包的序列化就是按照AMF的格式进行的。 说完AMF，再回到我们的RTMP Body，RTMP Body就是按照AMF0规范，将数据包进行组织，然后再通过网络发送的。 好了，接下来就结合wireshark实际抓到的RTMP数据包，一起熟悉AMF0，同时也熟悉RTMP Body的数据包组织方式。 先看一下_result的数据包。 ?

手撕rtmp协议细节（2）——rtmp Header

rtmp的协议的数据包，总的来讲分为两大部分，一部分是Rtmp Header，另一部分为Rtmp Body，这一篇我们来主要讲解一下Rtmp Header的组织形式。 RTMP header的长度不固定，可能的长度为12字节，8字节，4字节，1字节。具体长度为多少个字节，由RTMP header数据包的第一个字节的高2位决定。 ? 抓包看下，RTMP HEADER的长度。 图中，RTMP Header的第一个字节为0x03，高两位的值为00，所以，整个RTMP Header的长度就是4个字节了。 知道了RTMP header的第一个字节的作用以后，接下来我们看下几种不同长度的RTMP Header。 12字节的RTMP Header ?

多路RTSP-RTMP转RTMP定制版

大牛直播SDK(Github)多路RTMP/RTSP转RTMP转发软件，系原有转发SDK基础上，官方推出的Windows平台定制版。 如监控类摄像机、NVR等，通过厂商说明或Onvif工具，获取拉流的RTSP地址，图形化配置，完成拉流转发等操作，轻松实现标准RTMP服务器（或CDN）对接。 视频转发支持H.264、H.265（需要RTMP服务器或CDN支持扩展H.265），音频支持配置PCMA/PCMU转AAC后转发，并支持只转发/录制视频或音频，RTSP拉流端支持鉴权和TCP/UDP模式设置和 添加转发项配置信息 [image] 配置说明： 添加配置项：点击页面“添加”按钮： ² 序号：无需关注，系统自动生成； ² 名称：该路转发配置项的描述信息； ² 拉流地址（必须填）：需要转发的RTSP或RTMP 地址； ² 推流RTMP地址：需要转推的RTMP地址； ² 推流播放地址：需要预览的播放地址； ² 音视频转发选项：可选择之转发音频或视频，亦或同时转发音视频； ² 录像参数配置：可选择录制音频或视频，

rtmp协议详解_rtmp服务器

前言 最近在学习rtmp协议，在看官方文档的时候总是懵懵懂懂，硬生生看了两天，现在基本上了解rtmp协议了，想用自己觉得比较清晰的方式来讲解rtmp协议，希望能够对向我一样的初学者有所帮助。 本文将通过以下四部分讲解rtmp协议。 1、消息 2、块 3、rtmp的消息类型 4、实例分析rtmp传输过程 一、消息 消息是rtmp的基本数据单元，服务端和客户端通过在网络上发送RTMP消息进行通讯。 消息格式 RTMP消息头和载荷两部分。 上面已经详解讲解了rtmp的数据格式了，下面来讲解具体的rtmp协议内容。 载荷 块的载荷就是消息的载荷内容。 总结一下：消息是rtmp的基本数据单元，块是用于将消息重新封装在网络上传输。

RTMP协议

RTMP 基础 RTMP 概念 与 HTTP(超文本传输协议)同样是一个基于 TCP 的 Real Time Messaging Protocol（实时消息传输协议）。 当然我们也可以借助一些实现了 RTMP 协议的开源库来完成这一过程。 RTMPDump RTMPDump 是一个用来处理 RTMP 流媒体的开源工具包。 变量 file(GLOB rtmp_source *.c) # 编译静态库 add_library(rtmp STATIC ${rtmp_source} ) 在 中导入这个 CMakeLists.txt #XXX需要链接rtmp库 target_link_libraries(XXX rtmp ...) RTMP 视频数据 RTMP 视频流格式与 FLV 很相似，通过查看 FLV 的格式文档，就能够知道 RTMP 视频数据应该怎么拼接。

RTMP协议

RTMP消息块流和RTMP一起适用于多样性音视频应用程序，从一对一和一对 多向视频点播服务器直接广播到交互式会议应用程序。 RTMP协议是应用层协议，是要靠底层可靠的传输层协议（通常是TCP）来保证信息传输的可靠性的。 在基于传输层协议的链接建立完成后，RTMP协议也要客户端和服务器通过“握手”来建立基于传输层链接之上的RTMP Connection链接。 2. 3. rtmp协议握手过程 要建立一个有效的rtmp连接，首先经过”握手”阶段，规则如下： 客户端被指定依次向服务器发送C0,C1,C2三个chunk，服务器向客户端发送S0,S1,S2三个chunk ，大小1字节 版本：8比特，C0:客户端需求的rtmp版本，S0:服务器选择的rtmp版本,如图： 4.2 握手第二阶段： 客户端发送C1包，C1包大小1536字节，格式如下图： time:包含了一个时间戳